As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.

Understanding objects is a central building block of artificial intelligence, especially for embodied AI. Even though object recognition excels with deep learning, current machines still struggle to learn higher-level knowledge, e.g., what attributes an object has, and what can we do with an object. In this work, we propose a challenging Object Concept Learning (OCL) task to push the envelope of object understanding. It requires machines to reason out object affordances and simultaneously give the reason: what attributes make an object possesses these affordances. To support OCL, we build a densely annotated knowledge base including extensive labels for three levels of object concept (category, attribute, affordance), and the causal relations of three levels. By analyzing the causal structure of OCL, we present a baseline, Object Concept Reasoning Network (OCRN). It leverages causal intervention and concept instantiation to infer the three levels following their causal relations. In experiments, OCRN effectively infers the object knowledge while following the causalities well. Our data and code are available at https://mvig-rhos.com/ocl.

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

从单眼视频中进行的3D人姿势估计最近看到了显着改善。但是，大多数最先进的方法都是基于运动学的，它容易出现具有明显伪影的物理上不可信的运动。当前基于动态的方法可以预测物理上合理的运动，但仅限于具有静态相机视图的简单场景。在这项工作中，我们介绍了D＆D（从动态相机中学习人类动力学），该法律利用物理定律使用移动的摄像机从野外视频中重建3D人类运动。 D＆D引入了惯性力控制（IFC），以考虑动态摄像机的惯性力来解释非惯性局部框架中的3D人运动。为了学习有限注释的接地接触，我们开发了概率接触扭矩（PCT），该概率是通过与接触概率的可区分抽样计算的，并用于生成运动。接触状态可以通过鼓励模型产生正确的动作来弱监督。此外，我们提出了一个细心的PD控制器，该控制器使用时间信息来调整目标姿势状态，以获得平稳而准确的姿势控制。我们的方法完全是基于神经的，并且在物理引擎中没有离线优化或模拟的情况下运行。大规模3D人体运动基准的实验证明了D＆D的有效性，在该基于最新的运动学基于动力学和基于动力学的方法的情况下，我们表现出卓越的性能。代码可从https://github.com/jeffsjtu/dnd获得

长尾图像识别对深度学习系统提出了巨大的挑战，因为多数（头）类别与少数族裔（TAIL）类之间的失衡严重偏斜了数据驱动的深度神经网络。以前的方法从数据分布，功能空间和模型设计等的角度来解决数据失衡。从以前省略的平衡标签空间的角度来看。为了减轻从头到尾的偏见，我们通过逐步调整标签空间并将头等阶层和尾部类别分开，动态构建平衡从不平衡到促进分类，提出简洁的范式。借助灵活的数据过滤和标签空间映射，我们可以轻松地将方法嵌入大多数分类模型，尤其是脱钩的训练方法。此外，我们发现头尾类别的可分离性在具有不同电感偏见的不同特征之间各不相同。因此，我们提出的模型还提供了一种功能评估方法，并为长尾特征学习铺平了道路。广泛的实验表明，我们的方法可以在广泛使用的基准上提高不同类型的最先进的性能。代码可在https://github.com/silicx/dlsa上找到。

人对象相互作用（HOI）检测在活动理解中起着至关重要的作用。尽管已经取得了重大进展，但交互性学习仍然是HOI检测的一个具有挑战性的问题：现有方法通常会产生冗余的负H-O对提案，并且无法有效提取交互式对。尽管已经在整个身体和部分级别研究了互动率，并促进了H-O配对，但以前的作品仅专注于目标人一次（即，从本地角度来看）并忽略了其他人的信息。在本文中，我们认为同时比较多人的身体零件可以使我们更有用，更补充的互动提示。也就是说，从全球的角度学习身体部分的互动：当对目标人的身体零件互动进行分类时，不仅要从自己/他本人，而且还从图像中的其他人那里探索视觉提示。我们基于自我注意力来构建身体的显着性图，以挖掘交叉人物的信息线索，并学习所有身体零件之间的整体关系。我们评估了广泛使用的基准曲线和V-Coco的建议方法。从我们的新角度来看，整体的全部本地人体互动互动学习可以对最先进的发展取得重大改进。我们的代码可从https://github.com/enlighten0707/body-part-map-for-interactimence获得。

在本文中，我们提出了一种真正的群体级对比度视觉表示学习方法，其在Imagenet上的线性评估表现超过了香草的监督学习。两个主流的无监督学习方案是实例级对比框架和基于聚类的方案。前者采用了极为细粒度的实例级别歧视，由于虚假负面因素，其监督信号无法有效。尽管后者解决了这一点，但它们通常会受到影响性能的一些限制。为了整合他们的优势，我们设计了烟雾方法。烟雾遵循对比度学习的框架，但取代了对比度单元，从而模仿了基于聚类的方法。为了实现这一目标，我们提出了同步执行特征分组与表示学习的动量分组方案。通过这种方式，烟雾解决了基于聚类的方法通常面对的监督信号滞后问题，并减少了实例对比方法的错误负面因素。我们进行详尽的实验，以表明烟雾在CNN和变压器骨架上都很好地工作。结果证明，烟雾已经超过了当前的SOTA无监督的表示方法。此外，其线性评估结果超过了通过香草监督学习获得的性能，并且可以很好地转移到下游任务。

估计看不见对象的6D姿势对许多现实世界应用非常有需求。但是，当前的最新姿势估计方法只能处理以前训练的对象。在本文中，我们提出了一项新任务，以使算法能够估计测试过程中新颖对象的6D姿势估计。我们收集一个具有真实图像和合成图像的数据集，并且在测试集中最多可见48个看不见的对象。同时，我们提出了一个名为infimum Add（IADD）的新指标，这是对具有不同类型姿势歧义的对象的不变测量。还提供了针对此任务的两个阶段基线解决方案。通过训练端到端的3D对应网络，我们的方法可以准确有效地找到看不见的对象和部分视图RGBD图像之间的相应点。然后，它使用算法鲁棒到对象对称性从对应关系中计算6D姿势。广泛的实验表明，我们的方法的表现优于几个直观基线，从而验证其有效性。所有数据，代码和模型都将公开可用。项目页面：www.graspnet.net/unseen6d

预期未来的事件是智能系统和体现AI的重要功能。但是，与传统的识别任务相比，未来和推理能力要求的不确定性使预期任务非常具有挑战性，并且远远超出了解决。在此文件中，以前的方法通常更关心模型架构设计，或者很少关注如何通过适当的学习政策培训预期模型。为此，在这项工作中，我们提出了一种称为动态上下文删除（DCR）的新型培训方案，该方案动态地安排了学习过程中观察到的未来的可见性。它遵循类似人类的课程学习过程，即逐渐消除事件上下文以增加预期难度，直到满足最终预期目标。我们的学习方案是插件，易于整合包括变压器和LSTM在内的任何推理模型，具有有效性和效率的优势。在广泛的实验中，提出的方法在四个广泛使用的基准上实现了最先进的方法。我们的代码和模型将在https://github.com/allenxuuu/dcr上公开发布。

透明的物体在我们的日常生活中很常见，并且经常在自动生产线中处理。对这些物体的强大基于视力的机器人抓握和操纵将对自动化有益。但是，在这种情况下，大多数当前的握把算法都会失败，因为它们严重依赖于深度图像，而普通的深度传感器通常无法产生准确的深度信息，因为由于光的反射和折射，它们都会用于透明对象。在这项工作中，我们通过为透明对象深度完成的大规模现实世界数据集提供了解决此问题，该数据集包含来自130个不同场景的57,715个RGB-D图像。我们的数据集是第一个大规模的，现实世界中的数据集，可提供地面真相深度，表面正常，透明的面具，以各种各样的场景和混乱。跨域实验表明，我们的数据集更具通用性，可以为模型提供更好的概括能力。此外，我们提出了一个端到端深度完成网络，该网络将RGB图像和不准确的深度图作为输入，并输出精制的深度图。实验证明了我们方法的效率，效率和鲁棒性优于以前的工作，并且能够处理有限的硬件资源下的高分辨率图像。真正的机器人实验表明，我们的方法也可以应用于新颖的透明物体牢固地抓住。完整的数据集和我们的方法可在www.graspnet.net/transcg上公开获得